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Оценка качества обучения в высшей школе является в наше время одной из актуальных задач, стоящих перед высшей школой. 
На основе анализа статистических показателей экспертной оценки качества объектов образовательного процесса сделан вывод 
о том, что использование того или иного показателя обусловлено типом шкалы экспертных оценок. Предложен комплексный ал- 
горитм обработки и анализа результатов экспертной оценки в соответствии с типом измерительной шкалы. Рассмотрен ряд ал- 
горитмов: построения формализованных критериев для оценки качества объектов образовательного процесса, принятия реше- 
ний по результатам тестирования, принятия решения на основе неоднородной последовательной процедуры распознавания. 
Все предложенные авторами алгоритмы входят в состав информационной технологии, построенной для решения задач оценки 
качества обучения в высшей школе. 


Одной из наиболее актуальных проблем в об- 
ласти образования является повышение его качест- 
ва. В настоящее время произошли важные измене- 
ния в процессах международной стандартизации в 
области менеджмента качества - разработана и 
принята новая версия стандартов ИСО серии 9000 
в версии 2000 года, регламентирующих процесс 
создания, сертификации и поддержания в актуаль- 
ном состоянии систем менеджмента качества на 
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предприятии (в организации). Актуальность иссле- 
дований обусловлена необходимостью разработки 
и внедрения новых методов измерения и алгорит- 
мов обработки информации для оценки качества 
обучения студентов, в том числе необходимостью 
дальнейших исследований в области оценки и уп- 
равления качеством в Томском политехническом 
университете - для развития и усовершенствова- 
ния существующей системы менеджмента качества 


Технические науки 


[1-5]. Основным направлением наших исследова- 
ний была разработка новых моделей и алгоритмов 
для измерения качества различных составляющих 
образовательного процесса [6-13]. 

Очевидно при формировании понятия "качество 
образования", прежде всего, необходимо ориенти- 
роваться на определение "Качество - степень соот- 
ветствия присущих характеристик требованиям", 
используемое в Международном стандарте ИСО 
9000:2000. Кроме того, согласно терминологии ИСО 
9000 - качество "практическое воплощение" - удов- 
летворение потребностей и ожиданий; качество 
"техническое воплощение" - свойство объекта, отно- 
сящееся к потребностям и ожиданиям. В данной ра- 
боте используются термины и определения, приве- 
денные в стандарте ГОСТ Р ИСО серии 9000:2001. 

Существуют различные показатели качества об- 
разовательной деятельности. Очевидно, что обра- 
зовательная организация (вуз) имеет ярко выра- 
женную специфику по сравнению с производ- 
ственным предприятием. Множество разнородных 
процессов, происходящих в вузе (научно-исследо- 
вательский, учебный, производственный, финан- 
совый, административный, хозяйственный и пр.), 
в то же самое время объединены основной функци- 
ей - каждый из них вносит вклад в качество обра- 
зования как интегральный результат деятельности 
вуза. В зависимости от содержания работы образо- 
вательного учреждения и ее этапа, приоритет в 
оценке качества может быть отдан разным аспек- 
там и соответствующим показателям качества. В 
качестве основных критериев оценки качества обу- 
чения нами выбраны следующие [8-10, 11]: 


Оценка абитуриентов - оценка качества абитури- 
ентов представляет собой степень соответствия лич- 
ностных характеристик абитуриента выбранному 
факультету. В качестве системы показателей предла- 
гается использовать: 1) оценку психологического со- 
ответствия выбранной специальности (тесты на 
профпригодность, психологические тесты); 2) оцен- 
ку знаний абитуриентов (показатель, значение и 
критерии которого определяются на основе данных 
приемной комиссии); 3) оценку физического состо- 
яния (значение и критерии этого показателя опреде- 
ляются медицинской комиссией). В статье рассмат- 
риваются только вопросы оценки профпригодности. 

Качество преподавательской деятельности - пока- 
затели, характеризующие качество деятельности пре- 
подавателя: 1) оценка профессиональных качеств; 
2) оценка качества содержания учебной дисциплины. 

Качество подготовленных специалистов - оценка 
качества подготовленного специалиста произво- 
дится с нескольких позиций: 1) степень соответ- 
ствия Государственному образовательному стандар- 
ту; 2) степень соответствия требованиям предприя- 
тий или фирм-заказчиков; 3) степень соответствия 
профессионально значимым психологическим и 
психофизиологическим качествам специалиста. 

Для решения задачи оценки качества обучения 
студентов нами разработана информационная тех- 
нология, включающая универсальные алгоритмы и 
методики. На рис. 1 приведена общая схема оценки 
качества обучения студентов с использованием 
разработанных авторами алгоритмов. 

Применение экспертного оценивания позволя- 
ет получить наиболее полную информацию о сос- 



Рис. 1 . Схема оценки качества обучения 
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тоянии образовательного процесса и особенно тех 
его составляющих, для оценки которых невозмож- 
но использовать количественные показатели. В ка- 
честве экспертов могут выступать студенты, выпу- 
скники вуза, потенциальные работодатели и пре- 
подаватели. Нами предложен комплексный алго- 
ритм обработки и анализа результатов экспертных 
оценок, схема которого представлена на рис. 2. 


Данный алгоритм был использован при реше- 
нии задачи выявления основных требований руко- 
водителей предприятий и фирм к выпускникам 
Томского политехнического университета по спе- 
циальностям, связанным с разработкой и исполь- 
зованиям современных компьютерных технологий. 

Нами предложена технология выявления скрытых 
закономерностей объектов образовательного процес- 
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Рис. 2. Схема алгоритма обработки и анализа результатов экспертного оценивания 
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са на основе методов многомерного статистического 
анализа. В состав этой технологии входит разработан- 
ный автором алгоритм построения формализованных 
критериев для решения прикладных задач оценки ка- 
чества объектов образовательного процесса, который 
является развитием подхода, предложенного в рабо- 
тах С. А. Айвазяна, О. В. Староверова. 

Факторный анализ использовался для пониже- 
ния размерности множества исходных признаков и 
получения формализованных критериев для количе- 
ственной оценки качества объектов образователь- 
ного процесса. Основная модель факторного ана- 
лиза представлена формулой (1): 

к 

х і = Ц а ііІі +е і, і = (!) 

7=1 

где ф,і= 1, ..., к - латентные переменные (факто- 
ры), к <р; *,-, і = 1, ..., р- наблюдаемые переменные 
(исходные признаки); а ѵ - факторные нагрузки; 
е, - случайная ошибка измерения. 

Полученные факторы представляют собой ли- 
нейные функции вида: 

У і=/п Х 1 +/і 2 Х 2 + - + /і Р Х Р » ( 2 ) 


где /= 1 ,...,м;у = 1,2 ,...,р; т -количество факторов; 
р - количество переменных; - нагрузка /-ого фак- 
тора на у'-ую переменную; х і - переменные. Предла- 
гается использовать функцию вида (2) в качестве 
формализованного критерия для оценки качества 
объектов образовательного процесса. 

Так, например, в задаче оценки профессио- 
нальных качеств преподавателей получены следу- 
ющие формализованные критерии для оценки дея- 
тельности преподавателя: 

- У ПеШ - педагогического мастерства: 

у тш = 0,87*, + 0,87*2 +0,92*3 +0,83* 4 + 0,88*,+ 
+ 0,78* 6 + 0,89*7 + 0,68* 8 + 0,79* м ; 

- У ЛшК - личностных качеств: 

У ЛичК = 0,93*, + 0,73*,2 + 0,60* 13 +0,54* 18 ; 

- У ПрофК - профессиональной компетентности: 
у профк~ О,86* 10 + 0,51*ц, 

где *, - доступное изложение материала, * 2 - разъяс- 
нение сложных мест, *, - выделение главных момен- 
тов; * 4 - умение вызвать и поддержать интерес ауди- 
тории к предмету, *, - обратная связь с аудиторией, 
* 6 - побуждение к дискуссии, * 7 - логика в изложе- 
нии, * 8 - культура речи, х 9 - умение снять напряже- 



Рис. 3 . Выявленные типы преподавательской деятельности 
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ние аудитории, х 10 - ориентация на использование 
изученного материала в будущей деятельности, 
х и - творческий подход, х а - доброжелательность и 
тактичность, х 13 - терпение, х 14 - требовательность, 
х ,5 - заинтересованность в успехах студентов, 
х 16 - объективность в оценке знаний, х п - уважи- 
тельное отношение к студентам, х 18 - эрудиция. 

Проверка эффективности полученных формали- 
зованных критериев ( У ПедМ , Ѵ ЛкК , У ПрофК ) была проведена 
на основе анализа значений коэффициента корреля- 
ции Спирмена ( г ;) между значениями данных крите- 
риев и рейтинговыми оценками профессиональной 
деятельности преподавателя по этим же составляю- 
щим. Полученные значения г ; оказались статистичес- 
ки значимыми (р< 0,01). Для вьщеления имеющихся 
однородных групп (типов) исследуемых объектов ис- 
пользовался метод ^-средних кластерного анализа. 


Показана эффективность работы предложенного 
подхода на примере решения следующих приклад- 
ных задач: выявление основных требований к вы- 
пускникам факультета автоматики и вычислитель- 
ной техники Томского политехнического универ- 
ситета со стороны потенциальных работодателей; 
оценка качества содержания учебных дисциплин; 
оценка качества преподавательской деятельности. 

Применение кластерного анализа при решении 
данной задачи позволило выявить четыре основ- 
ных типа преподавателей в Томском политехничес- 
ком университете [8, 10, 11, 13]. Описание выяв- 
ленных типов приведено на рис. 3. 

Для решения данных задач оценки качества об- 
разовательного процесса посредством компьютер- 
ного тестирования (как психодиагностического, 
так и педагогического) авторами разработана сис- 
тема поддержки принятия решения по результатам 
компьютерного тестирования [7, 11]. 


Принятие решения в случае, если объекты об- 
разовательного процесса характеризуются разно- 
типными признаками, осуществляется на основе 
неоднородной последовательной процедуры рас- 
познавания. В этом случае формула принятия ре- 
шения имеет вид (3) [14]: 


а 

1018 !ДГ 


<Ю1§ 

I І 


1 -а 



Ок= 1018 


т,/4) ® 

ДУА)’ 


где а и /3 - ошибки 1-го и 2-го рода; Ок(х,) - диаг- 
ностический коэффициент /-го признака для /'-ди- 
апазона; А ъ А 2 - классы состояний; Р(х/А к ) - веро- 
ятность попадания объекта, принадлежащего к 
классу А ь в диапазон у признака /. 

Достоинством выбранного нами подхода явля- 
ется возможность перехода к номинальной шкале с 
произвольным количеством градаций исследуемых 
признаков. С использованием описанного алго- 
ритма решены следующие задачи: 


ЗАДАЧА 1. Прогнозирование успешности обучения 
студентов младших курсов на основе анализа лично- 
стных качеств. В этом случае А, - "успешные" сту- 
денты, А 2 - "неуспешные". 

ЗАДАЧА 2. Прогнозирование успешной интеллекту- 
альной самореализации студентов старших курсов на 
основе анализа показателей познавательной деятель- 
ности. А, и А г - имеющие и не имеющие реальных 
достижений в интеллектуальной сфере деятельности. 

Объем обучающей выборки для этих задач сос- 
тавил соответственно 194 и 220 человек, контроль- 
ной - 100 и ПО человек. Результаты работы неод- 
нородной последовательной процедуры распозна- 
вания на контрольной выборке при а = 0,05 и 
/1 = 0,1 приведены в таблице. 

Таблица. Результаты работы неоднородной последователь - 
ной процедуры 


Задача 

Правильно 

распознанные, 

% 

Неправильно 

распознанные, 

% 

Не 

определено, 

% 

1 

78 

15 

7 

2 

80 

5 

15 


Результаты как психологического, так и педаго- 
гического тестирования чаще всего выражены в ви- 
де тестовых баллов. Однако, окончательная интерп- 
ретация результатов тестирования связана с отнесе- 
нием полученной числовой характеристики к од- 
ной из следующих градаций: очень низкий, низкий, 
средний, высокий и очень высокий уровень изме- 
ряемого качества. При установлении граничных то- 
чек для таких интервалов присутствует элемент не- 
четкости и неопределенности. Результат тестирова- 
ния можно рассматривать как лингвистическую пе- 
ременную, в связи с чем предложен алгоритм при- 
нятия решения в условиях неопределенности (мо- 
дернизация метода анализа альтернатив А. Борисо- 
ва и И. Крумберга [15]. Для построения функций 
принадлежности выбран метод интервальных оце- 
нок. В этом случае если имеется интервал [И*, Д\ 
значений критерия, который соответствует поня- 
тию "хороший" объект, то с приближением значе- 
ния к границе И* возможность признания объекта 
критерия "хорошим" линейно возрастает. 

На основе алгоритма принятия решения в усло- 
виях неопределенности разработана программа для 
выбора абитуриентом по результатам компьютер- 
ного психодиагностического тестирования наибо- 
лее подходящего факультета. Абитуриенты оцени- 
ваются по показателям, являющимся наиболее 
важными для выбранного факультета. Для каждого 
из факультетов были определены пороговые значе- 
ния и И*, по интеллектуальным и личностным 
показателям. Полученные результаты для некото- 
рых факультетов Томского политехнического уни- 
верситета приведены в работе [11]. 

Педагогическое тестирование на основе компью- 
терных технологий официально признано основным 
средством диагностики качества знаний в проекте 
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Федерального закона "О государственном образова- 
тельном стандарте основного общего образования". 
Задания педагогического теста выражаются не в ви- 
де вопросов и задач, а представляют собой утвержде- 
ния, которые в зависимости от ответов испытуемых 
могут превращаться в истинные или ложные выска- 
зывания. Успех участника тестирования в решении 
определенного тестового задания зависит, в основ- 
ном, от двух факторов: трудности задания и подго- 
товленности испытуемого. Для оценки вероятности 
правильного ответа при данном уровне подготовлен- 
ности студентов нами были выбраны логистические 
модели вероятности успеха Раша и Бирнбаума [11]. 

Авторами разработан программный продукт 
МО-5У8ТЕМ, предназначенный для решения за- 
дач оценки качества обучения студентов вуза. Прог- 
раммное обеспечение является универсальным и 
может быть адаптирована для внедрения в любом 
вузе. Программный комплекс имеет дружествен- 
ный пользователю интерфейс, гибкую систему 
настроек, сопровождается пакетом справочной ин- 
формации и представляет собой набор стандартных 
\Ѵі пйотѵт,- приложен и й , отвечающих всем современ- 
ным требованиям программного продукта для опе- 
рационных систем \Ѵішіо\ѵ$ 95/98/ЫТ /2000/ХР. 
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Все базовые функции системы разделены на два 
логических блока: 1) блок компьютерного тестиро- 
вания; 2) универсальный блок анализа результатов 
экспертного оценивания. В блоке компьютерного 
тестирования предусмотрено два варианта проведе- 
ния тестирования: в бланковой форме, с последую- 
щим вводом результатов в базу данных; в интерак- 
тивном режиме. В блоке экспертного оценивания 
также возможно два варианта получения эксперт- 
ных оценок: посредством анкетирования и ввода 
данных оператором в базу данных; через Іпіегпеі. 

Таким образом, проведенные авторами статьи 
исследования, были направлены на решение акту- 
альных задач, связанных с разработкой информаци- 
онной технологии для оценки качества объектов об- 
разовательного процесса. Построена информацион- 
ная технология для решения задач оценки качества 
обучения студентов вуза, отличительной особен- 
ностью которой является возможность использова- 
ния в качестве инструментария как тестовые техно- 
логии, так и методы экспертного оценивания. 

Работа выполнена при финансовой поддерже РФФИ, про- 
ект 03-06-80128. 
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